Experiments in Competence Acquisition for Autonomous Mobile Robots

This thesis addresses the problem of intelligent control of autonomous mobile robots, particularly under circumstances unforeseen by the designer. As the range of applications for autonomous robots widens and increasingly includes operation in unknown environments (exploration) and tasks which are not clearly speci able a priori (maintenance work), this question is becoming more and more important. It is argued that in order to achieve such exibility in unforeseen situations it is necessary to equip a mobile robot with the ability to autonomously acquire the necessary task achieving competences, through interaction with the world. Using mobile robots equipped with self-organising, behaviour-based controllers, experiments in the autonomous acquisition of motor competences and navigational skills were conducted to investigate the viability of this approach. A controller architecture is presented that allows extremely fast acquisition of motor competences such as obstacle avoidance, wall and corridor following and dead end escape: these skills are obtained in less than ve learning steps, performed in under one minute of real time. This is considerably faster than previous approaches. Because the e ective wiring between sensors and actuators is determined autonomously by the robot, sensors and actuators may initially be wired up arbitrarily, which reduces the risk of human error during the setting up phase of the robot. For the rst time it was demonstrated that robots also become able to autonomously recover from unforeseen situations such as changes in the robot's morphology, the environment or the task. Rule-based approaches to error recovery obviously cannot o er recovery from unforeseen errors, as error situations covered by such approaches have to be identi ed beforehand. i A robust and fast mapbuilding architecture is presented that enables mobile robots to autonomously construct internal representations of their environment, using self-organising feature maps. After a short training time the robots are able to use the self-organising feature map successfully for location recognition. For the rst time the staged acquisition of multiple competences in mobile robots is presented. First obtaining fundamental motor competences such as wall following and dead end escape (primary skills), the robots use these in a second stage to learn higher levels of competence such as the navigational task of location recognition (secondary skills). Besides laying the foundation of autonomous, staged acquisition of high level competences, this approach has the interesting property of securely grounding secondary skills in the robot's own experience, as these secondary skills are de ned in terms of the primary ones. Kurzfassung Diese Dissertation befa t sich mit dem Problem der intelligenten Steuerung autonomer mobiler Roboter, insbesondere in vom Ingenieur nicht vorhergesehenen Situationen. Diese Frage gewinnt zunehmend an Bedeutung, da das Einsatzspektrum autonomer Roboter sich st andig erweitert und in zunehmendem Ma e den Einsatz in unbekannter Umgebung (Exploration) sowie a priori schlecht parametrierbare Aufgaben (Wartungsarbeiten) umfa t. Um Flexibilitat in solchen unvorhergesehenen Situationen zu erreichen, ist es notwendig, Robotersteuerungen zu entwickeln, die es dem Roboter erlauben, die ben otigten Fahigkeiten autonom, in Interaktion mit der Umwelt zu erwerben | so die hier vertretene These. Um die Brauchbarkeit dieses Ansatzes zu untersuchen, wurden Experimente mit autonomen mobilen Robotern durchgef uhrt, die die Anii wendbarkeit von selbstorganisierenden, verhaltensbasierten Steuerungen f ur den Erwerb von motorischen Fahigkeiten und f ur Navigation untersucht haben. Eine Steuerung wird vorgestellt, die das extrem schnelle Lernen von motorischen Fahigkeiten wie Hindernisausweichen, Wandfolgen, Korridorfolgen und Entweichen aus Sackgassen erlaubt. Diese Fahigkeiten werden in weniger als f unf Lernschritten in unter einer Minute Echtzeit erworben. Dies ist erheblich schneller als bisherige Ans atze. Da die effektive Verbindung zwischen Sensoren und Aktuatoren vom Roboter selbst bestimmt wird, k onnen Sensoren und Aktuatoren anfangs in beliebiger Weise angeschlossen werden. Dies vermindert die Anf alligkeit f ur Bedienfehler wahrend der Installationsphase des Roboters. Erstmalig wurde gezeigt, da Roboter auf unvorhergesehenen Situationen wie  Anderungen der Robotermorphologie,  Anderungen in der Umwelt oder  Anderungen der Aufgabe reagieren k onnen, ohne ihre Einsatzf ahigkeit zu verlieren. Regelbasierte Ansatze zur Fehlerkorrektur sind dazu nicht geeignet, da f ur solche Ansatze die Fehlersituationen schon von vornherein bekannt sein m ussen. Ein robustes und schnelles Kartographiesystem auf der Grundlage von selbstorganisierenden Merkmalskarten wird vorgestellt, welches es mobilen Robotern ermoglicht, in autonomem Betrieb eine Reprasentation der Umgebung zu erstellen. Nach kurzer Trainingszeit sind die Roboter in der Lage, mit Hilfe dieser Karten eine Ortserkennung erfolgreich durchzuf uhren. Erstmalig wird auch der stufenweise Erwerb mehrerer Fahigkeiten durch Roboter prasentiert. Nachdem grundlegende Fahigkeiten wie Hindernisausweichen, Wandfolgen oder Entweichen aus Sackgassen erlernt sind (Primarfahigkeiten), verwenden die Roboter diese in einer zweiten Stufe des Lernprozesses zum Erwerb komplexerer Fahigkeiten iii wie der der Ortserkennung (Sekund arfahigkeiten). Zum einen ist dies der Grundstein f ur den autonomen, stufenweisen Erwerb komplexerer Fahigkeiten, zum anderen hat dieser Ansatz die interessante Eigenschaft, da die Sekundarfahigkeiten des Roboters in den Erfahrungen des Roboters und nicht in von au en vorgegebenen De nitionen verankert sind, da die Sekundarfahigkeiten durch die Primarfahigkeiten de niert sind. R esum e Tandis que les applications des robots autonomes mobiles sont de plus en plus nombreuses par exemple lorsqu'il s'agit d explorer des territoires largement inconnus (par exemple, Mars) ou de travailler dans des environnements incertains (par exemple pour lutter contre un incendie ou pour travailler dans une centrale nucl eaire) les syst emes de contrôle de ces robots vont devoir de plus en plus s'accomoder de circonstances non pr evues par leur concepteurs. Cette th ese traite de ce probl eme, c esta-dire de la question de savoir comment un contrôleur de robot mobile peut s'av erer exible en circonstances impr evues. Alors que les tentatives ant erieures pour assurer une plus grande exibilit e en mati ere de contrôle robotique se sont focalise es, soit sur des solutions mettant en uvre des strat egies pr ed e nies | destine es a r esoudre des situations d erreur connues a priori | soit sur la construction de contrôleurs a partir de modules robustes, ind ependants et auto-su sants, la th ese soutenue ici est que, pour s'accomoder de situations re ellement impr evues par son concepteur, un robot doit pouvoir acqu erir des comp etences et s'adapter a des circonstances changeantes de facon autonome. Au moyen des robots mobiles Alder et Cairngorm, qui ont et e construits dans le cadre du projet "Really Useful Robots" du iv D epartement d'Intelligence Arti cielle de l'Universit e d Edimbourg, diverses exp eriences ont et e r ealise es a n d e'tudier les m ecanismes qui permettent a des robots mobiles d'apprendre a modi er leur comportement, par essais et erreurs, si cela s'av ere n ecessaire a la r ealisation de leur objectif et a s'auto-adapter en cas de circonstances impr evues. Ce r esultat a et e acquis grâce a la coop eration de composants g es et de composants modi ables au sein des contrôleurs de ces robots, les composants g es mettant en uvre ce qu'on pourrait appeler des r egles instinctives ( ex ecutant des comportements immuables et pr ed e nis) et les composants modi ables etant impl ement es au moyen d'architectures de calcul connectionnistes (R eseaux de Neurones Arti ciels). Au cours d exp eriences ayant trait a l'acquisition d'aptitudes motrices fondamentales, Alder et Cairngorm ont appris par essais et erreurs a eviter des obstacles, a s e'chapper de culs-de-sacs, a suivre des murs et des corridors. Ces robots se sont av er es capables de s'accomoder de circonstances impr evues telles que des changements dans leur environnement ou dans leur propre morphologie: ils se sont remis de ces changements et ont repris la tâche qu'ils cherchaient a accomplir. D'autres exp eriences ont egalement montr e que ces robots peuvent exploiter une information contextuelle et agir intelligemment dans des circonstances di erentes. Au cours d exp eriences portant sur la reconnaissance de lieux, Alder et Cairngorm ont utilis e des cartes topographiques autoorganise es comme repr esentations distribue es de leur environnement. G en er es a partir des stimuli d entre e provenant de leurs capteurs sensoriels ou des actions motrices e ectue es par les robots, les sch emas d excitation emergents au sein de ces cartes topographiques se sont av er es d element corr el es aux emplacements du monde re el. De ce fait, les robots etaient capables de reconnâitre les lieux qu'ils avaient v d eja visit es dans leur environnement. En n, au cours de recherches portant sur l'apprentissage par etapes, des exp eriences sur l'acquisition de comp etences motrices et sur la reconnaissance de lieux ont et e combine es: Cairngorm a ainsi appris d'abord a eviter les obstacles, a s e'chapper des cul-de-sacs et a suivre les murs puis, apr es que ces comp etences aient et e acquises, a les utiliser pour entrâiner un syst eme a base de carte topographique auto-organise e a reconnâitre les lieux parcourus. Grâce aux contrôleurs auto-organis es d ecrits dans cette th ese, il a et e montr e que des robots mobiles peuvent acqu erir de mani ere autonome les comp etences permettant de mener une tâche a bien et qu'ils peuvent s'accomoder avec succ es de situations impr evues. Pour la premi ere fois, il a et e egalement montr e que des robots peuvent tirer b en e ce de comp etences acquises ant erieurement pour r ealiser ensuite d'autres apprentissages. Un tel apprentissage par etapes est n ecessaire pour le d eveloppement autonome d'aptitudes plus elabore es chez les robots. ||||||||||{ The composition of this thesis and the research reported in it are entirely my own work, except where otherwise stated. Ulrich Nehmzow vi Acknowledgements Robotics is fun. I would not have realised this without the exciting and stimulating company of my friends. I am grateful for inspiring discussions I was priviliged to have, most of all with Tim Smithers (I still remember us using the mirror in our hotel room in Kaiserslautern as a whiteboard), and also with John Hallam. I owe much to both: Tim inspired and directed my work and kept me excited, John helped me to settle, guided my rst steps and carefully and helpfully analysed and assessed my work. I am grateful for the many opportunities I was given to meet other people and see their work. I gladly remember the \RUR tour" through Germany: for two weeks Tim, John, Pete and I visited many research institutions there | animated discussions wherever we were shaped our work and gave directions for the future. My best and most faithful critic from the public was my dear wife Claudia, who supported me in many special ways. I would not have started and nished this work without the help of the Nehmzow Clan. My mother encouraged me to start it and my father encouraged me to keep going. Thank You to Ama and Max, too.I thank Martin Waite for animated discussions about robotics, in bothies and elsewhere, KP Naidu, Alistair Conkie and Andrew Fitzgibbon for their help in computer matters all along the way; and Phyllis Garden Richardson and Jean-Arcady Meyer for translating the abstract of this thesis into French. The simulator of Alder was kindly given to me by members of the \FORANN" project at Bremen University. Thank You to Peter Ross, Brendan McGonigle, Manfred Knick, Chris Malcolm, Peter Forster and Barbara Webb for helpful comvii ments. Thank You also to the technical workshops, in particular to Tom Alexander, Douglas Howie and Hugh Cameron, and to Gillian Morrice and Karen Konstro er, who all supported this work much through their practical help. I gratefully acknowledge the support from both the Science and Engineering Research Council, who supported the work reported here for two years, and from the Department of Arti cial Intelligence, which provided a very stimulating and supportive environment.